Evaluación del control de activación y desalineación emergente
¿Sabías que el control de activación en modelos de lenguaje puede generar desalineación emergente? Este estudio revela riesgos de seguridad inesperados.
#evaluación de modelos
Leyes de Escalado de Respuesta a Ítems: Una Teoría de Medición para Escalado Neuronal
IRSL integra la Teoría de Respuesta al Ítem para estimar escalado neuronal con solo 50 preguntas, reduciendo datos un 99.9%.
Evaluación de IA en revisiones sistemáticas de epidemiología
Evaluamos la fiabilidad de cinco modelos frontier con AgentSLR en revisiones epidemiológicas. Descubre los fallos, costes y el reto de la extracción de datos.
La ingeniería de prompts está muerta. La ingeniería de sistemas es el futuro.
La ingeniería de prompts ya no es ventaja competitiva. Descubre por qué la ingeniería de sistemas es la habilidad más valiosa en IA.
Guía para desarrolladores: modelos, costos y calidad en Microsoft Foundry
Aprende a seleccionar, validar y optimizar modelos de IA en Microsoft Foundry para reducir costos y mejorar calidad. Guía práctica.
Benchmark Agent: evalúa todo, en todas partes, a la vez
Descubre Benchmark Agent, un sistema autónomo que crea benchmarks de alta calidad para evaluar LLMs y MLLMs sin intervención humana. Ideal para investigación.
CLASH: Evaluación de modelos de lenguaje en dilemas de alto riesgo
Descubre CLASH, el benchmark que evalúa cómo los modelos de lenguaje enfrentan dilemas de alto riesgo con múltiples perspectivas. Resultados sorprendentes sobre el razonamiento moral de la IA.
RedditPersona: marco modular para adaptación de LLM desde Reddit
Descubre RedditPersona, un marco modular para adaptación de LLM desde Reddit. 5 estrategias de agrupación y evaluación en 112 subreddits. Mejora tus modelos.
Benchmarking de predicción contrafactual en epidemias con intervenciones variables
Descubre cómo evaluamos la predicción contrafactual en epidemias con intervenciones variables. Un benchmark realista basado en datos de EE.UU. para mejorar la inferencia causal.
Rompiendo moléculas malas: ¿MLLM listos para desintoxicar?
Descubre ToxiMol, el primer benchmark que evalúa la capacidad de los MLLM para reparar moléculas tóxicas. ¿Podrá la IA mejorar el diseño de fármacos?
Seguridad bajo andamios: Condiciones de evaluación y su impacto en la seguridad
Los puntajes de seguridad en benchmarks no predicen el comportamiento real bajo andamios. Descubre cómo el formato y la arquitectura afectan la seguridad medida.
Modelos geoespaciales fundacionales para impulsar los Objetivos de Desarrollo Sostenible
Descubre cómo los modelos fundacionales geoespaciales pueden acelerar el logro de los ODS. Analizamos su rendimiento, eficiencia y alcance ético.
Unificando la similitud de agrupamiento: teoría de información y conteo de pares
Unifica las dos familias de similitud de agrupamiento: teoría de información y conteo de pares. Descubre su conexión analítica profunda.
MemoryDocDataSet: benchmark de memoria conversacional y razonamiento en documentos largos
Descubre MemoryDocDataSet: un benchmark que desafía a la IA a combinar memoria conversacional y razonamiento en documentos largos. ¿Tu modelo supera la brecha?
NoRA: Evaluación de razonamiento normativo visual en primera persona
Descubre NoRA, el benchmark que evalúa si los modelos de IA pueden justificar acciones razonables en video en primera persona. Un paso hacia una IA más segura.
Definición formal y meta-modelo para una teoría de la mente en máquinas
Conoce la primera definición formal y meta-modelo para la Teoría de la Mente en IA, basada en psicología y neurociencia.
scTranslation: benchmark completo para traducción multiómica unicelular
scTranslation: benchmark integral para traducción multiómica unicelular. Evalúa modelos con datasets y métricas, analizando selección de características y pocos ejemplos. ¡Descubre insights clave!
Reevaluando el aprendizaje continuo con pocos ejemplos
La evaluación con pocos ejemplos revela nuevas perspectivas sobre estabilidad y plasticidad en aprendizaje continuo. El meta-aprendizaje mejora la adaptación.
Expresión fiel de confianza en modelos de razonamiento grandes
¿Los modelos de razonamiento grandes expresan su confianza de forma fiel? Cuantificamos la calibración entre incertidumbre interna y verbalizada, revelando desa
Cómputo de inferencia calibrado por distribución para LLM como juez
Descubre cómo el cómputo de inferencia calibrado por distribución mejora la fiabilidad de LLM como juez, reduciendo errores y superando métodos tradicionales de votación.